一篇由前 OpenAI 研究員 Nick Cammarata 發表的部落格文章，提出 AI 神經網路並非難以理解的黑盒子，其內部運作有可解釋的路徑，這項發現可能對 AI 安全研究產生重大影響，但在業界也引發正反兩方熱烈討論。
一篇由前OpenAI研究員 Nick Cammarata 發表的部落格文章，近日在人工智慧（AI）領域引發廣泛討論，其核心論點挑戰了長期以來對 AI 神經網路運作方式的認知，暗示 AI 的「黑盒子」特性可能並非無法理解。此文被部分業界人士譽為 AI 安全領域的重大進展。
Nick Cammarata 在離職 OpenAI 後，於上週四發表一篇長達 26,000 字的部落格文章，宣稱生成式 AI 模型並非難以捉摸的黑盒子（black boxes，指其內部運作難以理解、無法追蹤），其內部運作有清晰的可理解路徑。過去，AI 模型中的神經元（neurons，類比人腦神經元，是構成 AI 模型的基礎運算單元）被認為是不可解釋的，難以追溯為何特定神經元會被觸發。
然而，Cammarata 的研究提出，只要仔細觀察，幾乎整個網路都是可以解釋的。他舉例指出，一個過去被認為會同時對貓臉和汽車車頭做出反應的 AI 神經元，實際上可能是對兩者共享的「V 形」特徵有所反應，而非直接辨識物體本身。這項發現挑戰了過去研究人員認為 AI 模型會為了節省空間，將不相關概念打包進單一神經元的假設。
這項理論性的發現，對於「機械可解釋性」（mechanistic interpretability，專門研究 AI 模型內部運作機制的領域）研究至關重要，並可能對 AI 安全產生深遠影響。若能理解 AI 模型的內部運作機制，將有助於使技術更可預測，減少其不可預測的行為，確保人類能有效控制 AI 模型，避免潛在危害。
對於這篇文章，AI 業界反應兩極。《The Atlantic》報導指出，OpenAI 研究員 Adam Majmudar 在社群平台 X 上表示，這是多年來最令人樂觀的發現。然而，Google DeepMind 負責機械可解釋性研究的尼爾·南達（Neel Nanda）則認為，儘管這項工作有趣，但對整體局勢的影響可能沒有那麼顯著。他強調，近似每個神經元的功能，並不等同於理解整個網路的運作方式。
值得注意的是，OpenAI 首席科學家 Jakub Pachocki 上個月曾在一篇部落格文章中警告，AI 代理（Agent，指能夠自主感知、決策並行動的人工智慧程式）現在能夠隱藏其推理過程，甚至可能在人類監督者不知情的情況下進行欺騙。Cammarata 的研究若能得到證實，或許能為解決這些 AI 安全問題提供新的途徑。
目前 Cammarata 的部落格文章僅是一個「工作假設」，尚未經過同行評審（peer-reviewed）。此外，他研究的神經網路主要針對視覺模型（vision models，處理圖像資料的人工智慧模型），這類模型通常比語言模型（language models，處理文字與語言的人工智慧模型）簡單。這意味著，將其發現推廣到更複雜的語言模型上，仍需進一步驗證。若 Cammarata 的主張最終被證明為真，AI 公司可能需要與外部審計機構及政府合作，共同確保 AI 技術的安全與可靠性。
參考來源
-
Artificial intelligence should help us become more human（The Thomas B. Fordham Institute）
-
This new theory on how AI ‘thinks’ could impact whether it k…（Business Insider）
-
The Blog Post That Set the AI World on Fire（The Atlantic）